\section*{摘要}
% from: lyh
随着移动设备、物联网（IoT）和边缘计算的快速发展，如何在资源受限环境下有效进行神经网络训练与推理，以及如何通过联邦学习在分布式环境中进行模型训练，成为了当前的两大研究热点。本文综述了 ICPP、DAC、ICLR 和 TACO 等国际会议近三年来在这两个领域的研究进展，重点分析了联邦学习和资源受限环境下神经网络训练与推理的创新方法、挑战和未来方向。
\\在联邦学习领域，本文主要总结了以下研究进展：
\begin{itemize}
    \item \textbf{分布式学习与隐私保护}:联邦学习作为一种分布式机器学习方法，通过多个设备协同训练深度学习模型，保护用户隐私并减少数据传输。研究主要集中在如何优化设备间的通信开销、如何设计高效的模型更新机制以减少延迟，并提出了多种基于优化算法的策略来提高系统的鲁棒性和准确性。
    \item \textbf{联邦学习架构与应用}:多项研究探讨了如何将联邦学习应用于智能设备、边缘计算等场景，解决数据分布不均和计算资源受限的问题。例如，FHDnn 联邦学习框架通过自监督学习和超维计算显著降低通信成本，同时提高网络鲁棒性和训练效率。
\end{itemize}
在资源受限环境下的神经网络训练与推理方面，本文综述了以下研究成果：
\begin{itemize}
    \item \textbf{硬件优化与协同设计}:在嵌入式系统、移动设备和边缘设备上进行神经网络训练时，硬件资源（如内存、计算能力和功耗）往往受限。研究者提出了多种硬件优化方案，包括低功耗硬件加速器的设计、内存管理策略以及针对特定硬件架构的优化方法，如SPARK 混合加速架构和 DictFormer 轻量级 Transformer 模型。
    \item \textbf{高效的神经网络训练与推理}: 为了在资源受限环境下提升模型性能，研究提出了多种优化方法，如通过稀疏性训练、模型压缩、量化技术以及自适应训练策略来减少模型的计算开销和内存占用。POET 系统通过优化内存和能耗，特别适用于资源紧张的边缘设备。
    \item \textbf{并行算法与框架优化}:并行算法的优化在提高计算效率、加速训练过程方面起到了关键作用。为适应资源受限环境，研究者提出了多种高效的并行算法框架，尤其是针对大规模神经网络的训练和推理过程。
\end{itemize}
本文还讨论了两个领域的交叉点和研究趋势，特别是如何通过软硬件协同优化、减少通信开销、以及平衡实时性和能效来提升整体系统性能。未来的研究可以关注如何进一步加强联邦学习在边缘设备上的应用，提升其效率与安全性；同时，在资源受限环境中，仍然需要解决更高效的神经网络架构设计与计算资源管理问题。
